LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference
LiveMem：在长运行LLM推理中维护记忆状态连续性
🧭 长运行LLM的内在记忆状态连续性 ★ 深度解读
NatureSelect.AI · Southern University of Science and Technology · Xidian University
通过并行循环记忆分支和上下文更替训练，使LLM在证据离开工作上下文后仍能依靠记忆状态保持推理连续性。
📌 工作参考价值（5 点）
- 记忆侧分支可迁移至长会话推荐Agent：在对话推荐或客服Agent中，可在每层注意力旁添加类似GDN2的循环模块，将用户长期行为序列压缩至固定记忆状态，当上下文窗口溢出时仍维持偏好感知。
- 训练范式：强制证据移出上下文：模仿LiveMem的post-training，通过分块管理使旧历史离开注意力，迫使模型依赖记忆状态回答，从而训练出真正的“记忆利用”能力，适合电商长生命周期用户建模。
- 课程学习策略激活记忆分支：先用全量行为日志（或长文档）预热记忆模块，再用均衡任务数据微调，可有效激活侧分支，避免模型短路依赖注意力上下文。
- 评估记忆真实有效性的方法：借鉴LongMemEval设计，构造证据与当前窗口距离递增的测试集，精确衡量模型是否真正记住了被淘汰的信息，适合评估推荐Agent记忆续航能力。
- 工程收益：上下文分块与KV淘汰：采用基于chunk的FIFO队列管理KV缓存，在推理时释放旧chunk，降低显存，支撑极长交互session的推理服务。